RNN language model
# Tag:
- Source/KU_ML2
RNN language model
RNN을 사용해 다음 단어를 예측하는 model.
보통 문법적으로 맞는지, 틀린지 예측하게 하기에는 supervised learning하기 힘들다. 그래서 보통 다음 단어가 나올 확률을 얻어내는 방식으로 전환해 사용한다.
의 식을 따르며, log likelihood가 커지도록 학습한다.
이외에 LSTM을 이용해 하는 방식도 존재하며, Gradient Vanishing 문제로 보통 LSTM을 사용한다.
어떤 한 단어가 input으로 들어가고, hidden state로부터 output이 만들어지고, 해당 output이 다시 input으로 들어가는 방식으로 문장을 생성한다.
활용
- 확률이 작은 부분을 oversampling하여 문법적으로 틀리지만, 시적으로 허용되는 문장을 만들 수도 있다.
- 확률이 높은 단어를 oversampling하여 보통 확률을 높이는 방식을 이용한다.